Hương Sơn là một xã nằm ở phía Tây Nam huyện Mỹ Đức. Là một xã bán sơn địa chuyển tiếp giữa vùng đồng bằng Bắc Bộ và vùng núi Tây Bắc, địa hình xã có hai dạng địa hình là đồng bằng ở phía Bắc và núi đá vôi ở phía Tây và Nam. Xã có vị trí, giới hạn:

• Phía Bắc giáp với xã Đốc Tín, xã Hùng Tiến và xã An Tiến
• Phía Tây giáp với xã Phú Nghĩa, huyện Lạc Thủy, tỉnh Hòa Bình và xã An Phú
• Phía Nam giáp với thị trấn Ba Sao, huyện Kim Bảng, tỉnh Hà Nam
• Phía Đông giáp với xã Tân Sơn, huyện Kim Bảng, tỉnh Hà Nam và xã Hồng Quang, huyện Ứng Hòa.